Visualizing Improvisation in LuminAI, an AI Partner for Co-Creative Dance

LuminAI is an art installation in which participants can improvise movements with an AI dance partner. In this practice work, we will present the LuminAI installation as well as two visualization tools that interactively demonstrate how the LuminAI agent reasons about movement using both bottom-up learned knowledge and top-down domain knowledge. Participants will first be invited to interact with the LuminAI installation, where they can improvise movement with an AI agent projected onto a screen. They can then see how LuminAI learns relationships between gestures by interacting with MoViz, a visualization in which participants can explore the agent's gesture memory and qualitatively compare the efficacy of unsupervised learning algorithms at clustering gestures. Finally, participants will be invited to interact with a third tool, where they can explore how LuminAI applies top-down domain knowledge to gesture reasoning. Participants will be able to interactively explore how LuminAI uses Laban Movement Analysis's conception of Space to analyze learned movements in terms of the geometric properties of Laban's icosahedron and manipulate these properties to transform and generate new movements. The two visualization tools both represent novel approaches to understanding and analyzing improvisational movement in creative domains.

LuminAIは、参加者がAIのダンスパートナーと即興で動きを表現するアートインスタレーションです。本ワークショップでは、LuminAIのインスタレーションと、LuminAIエージェントがボトムアップの学習知識とトップダウンの領域知識の両方を使って、どのように動きを判断するのかをインタラクティブに示す2つの可視化ツールを紹介します。参加者はまず、スクリーンに映し出されたAIエージェントを使って即興で動きを表現するLuminAIのインスタレーションと対話します。次に、参加者はMoVizを使って、LuminAIがジェスチャー間の関係性を学習する様子を見ることができます。MoVizは、参加者がエージェントのジェスチャー記憶を探索し、ジェスチャーをクラスタリングする際の教師なし学習アルゴリズムの効果を定性的に比較することができます。最後に、LuminAIがジェスチャー推論にトップダウンの領域知識をどのように適用しているかを探るための3つ目のツールを使って、参加者を招待します。参加者は、LuminAIがLaban Movement AnalysisのSpaceの概念を使って、Labanの正20面体の幾何学的特性に基づいて学習した動きを分析し、その特性を操作して新しい動きを変換して生成する方法をインタラクティブに探求することができます。この2つの可視化ツールは、どちらも創造的な領域における即興的な動きを理解し、分析するための新しいアプローチを表しています。